#!/usr/bin/env perl

use v5.14;
use utf8::all;

use MediaWiki::DumpFile;

my $input  = shift or die 'Dump file not specified';

my $i = 1;

my $total;

my $pages = MediaWiki::DumpFile->new->fastpages($input);
while(my($title, $text) = $pages->next) {
    next unless length $text;
    # optimized into EXACT-TRIE
    next unless $title =~ /^Обсуждение(?: | участника| Википедии| MediaWiki| шаблона| справки| категории| портала| Инкубатора| проекта| арбитража):(.+?)$/;

    say $title;
    say $text;
    say "\0";
    $total++;
}

printf STDERR "Total documents: %i\n", $total;
